Cao Diễn sinh năm 535, là người con trai thứ ba trong tổng số sáu người con trai của Cao Hoan- khi đó đã là tướng phụ trách đại chính của Đông Ngụy và có tước hiệu Bột Hải vương. Mẹ ông là vương phi Lâu Chiêu Quân. Ông được mô tả là thông minh khi còn nhỏ tuổi, và rất được mẹ yêu mến. Năm ông 3 tuổi, tức năm 538, ông được phong tước Thường Sơn quận công. Ông được mô tả là hiếu học, đặc biệt ưa chuộng Hán thư.